本文介绍了一种基于CNN的完全无监督的方法,用于光流量的运动分段。我们假设输入光流可以表示为分段参数运动模型集,通常,仿射或二次运动模型。这项工作的核心思想是利用期望 - 最大化(EM)框架。它使我们能够以良好的方式设计丢失功能和我们运动分割神经网络的培训程序。然而,与经典迭代的EM相比,一旦培训网络,我们就可以为单个推理步骤中的任何看不见的光学流场提供分割,没有对运动模型参数的初始化,因为它们没有估计推断阶段。已经调查了不同的损失功能,包括强大的功能。我们还提出了一种关于光学流场的新型数据增强技术,对性能显着影响。我们在Davis2016数据集上测试了我们的运动分段网络。我们的方法优于相当的无监督方法,非常有效。实际上,它可以在125fps运行,使其可用于实时应用程序。
translated by 谷歌翻译